AWS Inferentia 2
关键规格
| 维度 | 数值 |
|---|---|
| 发布 | 2023-04 GA |
| 制程 | TSMC 7nm（推测） |
| FP16 算力 | ~190 TFLOPS（单芯片） |
| 显存 | 32 GB HBM |
| 显存带宽 | 820 GB/s |
| 互联 | NeuronLink |
| 整机形态 | Inf2 实例（12 卡 inf2.48xlarge 顶配） |
市场定位
Inferentia 2 主打"大模型推理性价比"：
- 与 NVIDIA A10G / L40S 推理 GPU 对标
- 对比 H100 推理，吞吐性价比约 30-40% 价格优势
- 软件层 Neuron Runtime 兼容 PyTorch / HuggingFace
客户与部署
- AWS Bedrock 内部 —— 部分基础模型推理
- 企业 AI 推理 —— SaaS 公司、电商个性化等成本敏感推理负载
- 注：与 Trainium 2 不同，Inferentia 2 是面向第三方客户的主流推理实例，已大规模商用
演进路线
Inferentia 1（2019, 16nm 级，第一代尝试）→ Inferentia 2（2023, 主力商用）→ 与 Trainium 2 推理模式合并：Trainium 2 同时具备推理能力（"统一计算芯片"路线）